AI资讯新闻榜单内容搜索-Fast-dLLM

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: Fast-dLLM
扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

扩散语言模型推理太慢?北大团队提出ODB-dLLM框架,破解计算访存双重瓶颈

基于扩散的大语言模型 (dLLM) 凭借全局解码和双向注意力机制解锁了原生的并行解码和受控生成的潜力,最近吸引了广泛的关注。例如 Fast-dLLM 的现有推理框架通过分块半自回归解码进一步实现了 dLLM 对 KV cache 的支持,挑战了传统自回归 LLMs 的统治地位。

来自主题: AI技术研报
5534 点击    2025-12-11 10:42
NVIDIA港大MIT联合推出Fast-dLLM v2:端到端吞吐量提升2.5倍

NVIDIA港大MIT联合推出Fast-dLLM v2:端到端吞吐量提升2.5倍

NVIDIA港大MIT联合推出Fast-dLLM v2:端到端吞吐量提升2.5倍

自回归(AR)大语言模型逐 token 顺序解码的范式限制了推理效率;扩散 LLM(dLLM)以并行生成见长,但过去难以稳定跑赢自回归(AR)模型,尤其是在 KV Cache 复用、和 可变长度 支持上仍存挑战。

来自主题: AI技术研报
7434 点击    2025-10-27 16:46